物以類聚~層次聚類

15th鐵人賽學習筆記

rubylin

團隊好想放假大學

2023-10-01 21:30:42

320 瀏覽

分享至

層次聚類（ Hierarchical Clustering ）

將資料集中的資料點分為不同群集的方法，群集之間形成一種層次結構，代表可以查看不同層次的群集結構，從單個資料點開始，慢慢合併成更大的群集，或從整個資料集開始，慢慢分裂成更小的群集

凝聚層次聚類 將每個資料點看作單獨的群集，然後合併最相似的群集，直到每個資料點都屬於一個大的群集
分裂層次聚類 將整個資料集看作大群集，然後將分成更小的子群集，直到每個資料點都是一個單獨的群集

距離計算方式

Single linkage

計算兩個群集之間所有成對樣本之間的距離，選擇最小的成對樣本距離
偏向於將相似的樣本聚在一起，可能會產生長細的群集
群集 A 與群集 B 之間的距離：
$d(A, B) = \min_{x \in A, y \in B} \text{distance}(x, y)$

d(A,B) 表示群集 A 與群集 B 之間的距離
distance(x,y) 表示樣本 x 與樣本 y 之間的距離

Maximum (Complete) linkage

計算兩個群組之間所有成對樣本之間的距離，選擇最大的成對樣本距離
偏向於將相似度較低的樣本聚在一起，產生較平衡的群集大小
群集 A 與群集 B 之間的距離：
$d(A, B) = \max_{x \in A, y \in B} \text{distance}(x, y)$

Average linkage

計算兩個群組之間所有成對樣本之間的距離，取這些距離的平均值
是一種平衡的方法，通常可以得到比較好的結果
群集 A 與群集 B 之間的距離：
$https://chart.googleapis.com/chart?cht=tx&chl=%5C%5Bd(A%2C%20B)%20%3D%20%5Cfrac%7B1%7D%7B%7CA%7C%20%5Ccdot%20%7CB%7C%7D%20%5Csum_%7Bx%20%5Cin%20A%2C%20y%20%5Cin%20B%7D%20%5Ctext%7Bdistance%7D(x%2C%20y)%5C%5D$